From Retrieved Context to Runtime Control: Adaptive Compression for Edge-based RAG
从检索上下文到运行时控制：边缘RAG的自适应压缩
🧭 RAG上下文压缩与边缘推理优化
Northeastern University
实测边缘RAG中固定压缩率不可靠，中间压缩率可降GPU能耗53.2%且质量损失可忽略，主张遥测驱动的自适应压缩
📌 工作参考价值（4 点）
- 在电商/广告的RAG型助手、搜索摘要或智能客服中，检索到的商品/内容上下文越长，prefill与KV cache成本越高；可引入LLMLingua-2等轻量压缩器先剪枝，再进入大模型生成。
- 不要用固定压缩率：按query长度、上下文冗余度、当前GPU/SoC能耗或尾延迟预算动态选择压缩率，中间档位往往比固定高压缩更划算。
- 把压缩器自身的延迟与能耗计入总账；端侧或边缘部署时，只有当生成节省明显大于压缩开销才启用，7B-8B模型下生成约占90%延迟，值得压缩。
- 可采集设备telemetry（GPU功耗、KV cache占用、QPS）作为运行时策略输入，在低负载时少压缩保质量，高负载或省电模式时提高压缩率。